Do tuổi cao và nhiều công việc mục vụ, Hồng y Phạm Đình Tụng nhiều lần đau bệnh nên quyết định cử hành lễ tại phòng riêng. Chinh vì vậy, nhiều lần ông viết thư xin Tòa Thánh cho hồi hưu. Ngày 26 tháng 4 năm 2003, Giáo hoàng chấp thuận việc này bằng việc bổ nhiệm Giám mục Giuse Ngô Quang Kiệt, Giám mục chính tòa Giáo phận Lạng Sơn và Cao Bằng, làm Giám quản Tông tòa Tổng Giáo phận Hà Nội.[4] Ngày 7 tháng 5 năm 2003, ông trao quyền cai quản Tổng giáo phận Hà Nội cho vị Giám quản Tông Tòa.[1]

Ngày 19 tháng 2 năm 2005, Toà Thánh chính thức cho phép hồng y Phạm Đình Tụng về hưu theo Giáo luật và bổ nhiệm Giám quản Tông Tòa Giuse Ngô Quang Kiệt làm Tổng giám mục Tổng giáo phận Hà Nội.[20]

Trước đó, khi Giám mục Giuse Ngô Quang Kiệt về làm giám quản đã có dư luận cho rằng ông này không phải dân Hà Nội gốc và mới làm giám mục. Hồng y Phạm Đình tụng soạn văn thư gửi Tòa Thánh chấp thuận Giuse Ngô Quang Kiệt kế vị mình. Trong buổi nhậm chức Tổng giám mục của Tân Tổng giám mục Giuse Ngô Quang Kiệt ngày 20 tháng 2 năm 2005, ông thay mặt cộng đoàn giáo dân thuộc Tổng giáo phận Hà Nội nguyện hiệp thông và trung thành với tân Tổng giám mục, coi tân Tổng giám mục là người thầy dạy dỗ cộng đoàn. Sau khi nghỉ hưu, hồng y Tụng có dự định đến đại điểm khác để tĩnh dưỡng nhưng Tổng giám mục Giuse Kiệt xin ông ở lại không chỉ để tiện chăm sóc mà còn là chỗ nương tựa cho mình. Do đó, ông ở lại Toà Giám mục.[15]

Ngày 29 tháng 11 năm 2005, hồng y Phạm Đình Tụng tham dự lễ phong chức cho 57 linh mục, một lễ phong chức lịch sử chưa từng có tại Việt Nam, cho thấy một sự nới lỏng tôn giáo tại Việt Nam. Cùng đồng tế có Hồng y Crescenzio Sepe.[21]

Từ năm 2006, hồng y Phạm Đình Tụng bị bệnh nặng.[8] Tổng giám mục Giuse Ngô Quang Kiệt, linh mục, nam nữ tu sĩ và giáo dân từ các nơi đến thăm và cầu nguyện cho ông. Sau đó, ông qua cơn nguy kịch và dần phục hồi sức khỏe.[4]

Ngày 25 tháng 1 năm 2008 đã diễn ra lễ mừng thọ 90 tuổi, 60 năm linh mục và 40 năm Giám mục cho hồng y Phạm Đình Tụng tại nhà thờ lớn Hà Nội dưới sự chủ trì của hồng y Gioan Baotixita Phạm Minh Mẫn. Ngay sau sự kiện này, hàng trăm giáo dân đã đi vào khu vực Tòa Khâm sứ cũ trên phố Nhà Chung, tăng áp lực trong đợt cầu nguyện đòi đất gây căng thẳng với chính quyền thành phố.[8]